Federated Semi-Supervised Learning

半教師あり学習をFLに適用

FSSL手法の例

モデル自身の予測のうち、信頼度が高いものを新たなラベルとしてラベルなしデータに付与し、学習に再利用する手法

FLにおける課題は、Non-IIDデータによって偏ったローカルモデルが誤った疑似ラベルを生成し、その誤りを自己増幅させてしまうリスクがある点である

同じラベルなしデータに対して異なる摂動（例：データ拡張）を加えた入力ペアを生成

モデルがそれらに対して一貫した予測を出力するように正則化をかける手法

これにより、モデルはデータの本質的な特徴を学習することが期待される。

FSSLの課題に対する研究の例

クライアント間の予測の一貫性を高める

この手法は、あるクライアントのラベルなしデータに対する予測を、他のクライアント群の予測のアンサンブルと一致させるように促すことで、クライアント間の予測の一貫性を高める 29。これにより、単一の偏ったモデルによる誤った疑似ラベリングのリスクを低減する。

クライアント内外の不均衡に対処する手法

この研究は、クライアント内の「内部不均衡」（ラベル付きデータとラベルなしデータの分布の不一致）と、クライアント間の「外部不均衡」（Non-IID）の両方に対処する 34。適応的な調整器（regulator）を用いてローカルモデルの更新を制御し、偏ったデータによる性能劣化を防ぐ。

HASSLE:

アノテーションの不均一性」という、より一般的なシナリオに対応するために設計されたデュアルモデルフレームワークである 33。この設定では、クライアントは0%から100%まで任意の割合のラベル付きデータを保有できる。HASSLEは、ラベル付きデータ用とラベルなしデータ用にそれぞれ別のモデルを学習し、相互アライメント戦略を用いて暗黙的に知識を共有させる。